前情提要:Metadata 詮釋資料 (分離資料儲存與資料取用)
DAMA International(國際資料管理協會)的 DAMA 的 DMBoK ,資料治理十大知識領域中有兩個進階 Data Management(資料管理)項目:
如果要分次序來做,詮釋資料管理肯定是優先且關鍵項目,因為詮釋資料管理跟以下其他知識領域有相依性:
Data Catalog(資料目錄)就是用 Metadata Management Tool(詮釋資料管理工具)實作出來的。
我們在談論資料湖倉時,跟各位介紹過 Apache Iceberg,它讓資料湖泊進化了。就是這一篇:
Data Lakehouse (資料湖倉),順便淺談 Apache Iceberg
通過 Apache Iceberg 連結各種儲存有 Metadata 的系統,覆蓋整個企業,提供更可靠的資料目錄、資料模型迭代和簡化資料探索。
Gartner 向來是 Buzzword 創造者,這就是一例。
2021 年 Gartner 把 Magic Quadrant for Metadata Management Solutions 更名為 Market Guide for Active Metadata。因為 Gartner 認為被動式詮釋資料管理對企業的價值有限,需要主動式詮釋資料管理以確保使用者獲取在線最新、智能化與行動導向的資料服務與治理保證。
圖片來源:https://www.alation.com/blog/active-metadata/
根據我們團隊的研究與經驗,要做到主動式詮釋資料管理,需要線上 Metadata 的實時偵測與變更流程整合。
圖片來源:https://atlan.com/gartner-active-metadata-management/
大家可以先參考 Gartner 評比各家 Active Metadata Management Tool(詮釋資料管理工具) 。
https://www.gartner.com/reviews/market/active-metadata-management